Trước khi có tên gọi Bà Nghè, Thị Nghè thì tên rạch được người Khmer gọi là Prêk Kompon Lu, sau đó người Việt gọi là rạch Nghi Giang, rạch Bình Trị.[3] Theo nhà văn Sơn Nam trong cuốn Bến Nghé Xưa, kênh Nhiêu Lộc bắt nguồn từ khu vực Bầu Cát, quận Tân Bình. Nhiêu Lộc từng có nhiều nhánh nhỏ nhưng nay đã bị lấp như suối Trường Bình, rạch Cầu Huệ, rạch Bà Tiệm.[2] Theo Gia Định thành thông chí, "Sông Bình Trị (tục xưng là sông Bà Nghè ở đất tổng Bình Trị) phía bắc trấn ly từ sông Tân Bình quanh sau trấn ly qua cầu ngang, ngược dòng mà về phía Tây 4 dặm rưỡi thì đến cầu Cao Miên, chảy về phía Tây Bắc chừng hai dặm đến cầu Chợ Chiểu, chảy về phía Nam chừng 4 dặm đến cầu Phú Nhuận (tục danh xóm Kèo), 6 dặm rưỡi nữa đến cầu Huệ, tột nguồn đất hoang đầy đầm ao"[2][4]

Tên kênh Thị Nghè hay kênh Bà Nghè được đặt theo tên bà Nguyễn Thị Khánh, trưởng nữ của quan Khâm sai Chánh thống Vân trường hầu Nguyễn Cửu Vân, có chồng là thư ký mỗ, nên người đương thời gọi là bà Nghè. Bà Nguyễn Thị Khánh là người đã xây cầu qua kênh cho dân đi lại, nên cả cầu và dòng kênh đều được đặt theo tên bà.[3] Kênh được mô tả như sau trong Bài phú cổ Gia Định:[5]

Coi ngoài rạch Bà Nghè, dòng trắng hây hây tờ quyến trải.
Ngó lên giồng Ông Tố, cây xanh nghịt nghịt lá chàm rai...

Bà Nghè còn lập chợ Thị Nghè men theo bờ kênh, là nơi giao thương rộn rịp bậc nhất nhờ thuận tiện giao thông thủy lộ.[3] Năm 1771-1772, em trai bà là tướng Nguyễn Cửu Đàm đã xây Lũy Bán Bích kèo dài từ đầu rạch Thị Nghè đến rạch Bến Nghé.[3][6] Trước khi bị Pháp chiếm năm 1859, bên cạnh khu chợ sầm uất là các ụ đóng tàu chuyên đóng tàu chiến cho quân binh chúa Nguyễn ở bến rạch Thị Nghè.[3] Trong trận thành Gia Định, 1859, rạch Thị Nghè là nơi giao tranh giữa quân Pháp và quân nhà Nguyễn. Tàu chiến Pháp từ rạch Thị Nghè và sông Sài Gòn bắn đại bác cấp tập vào thành. Ngược lại, pháo trên thành dội xuống tàu địch đậu ở phía rạch Thị Nghè (vị trí Thảo Cầm Viên ngày nay).[7]

Thị Nghè là nơi chứng kiến nhiều trận đánh nảy lửa và đẫm máu trong thời chiến tranh Đông Dương và chiến tranh Việt Nam. Tại đường Trường Sa bên bờ kênh Thị Nghè hiện có đài và bia do ĐH Mỹ thuật Thành phố Hồ Chí Minh thiết ghi công các chiến sĩ đã hy sinh ở mặt trận cầu Thị Nghè diễn ra từ ngày 23 tháng 9 đến 18 tháng 10, 1945. Bia được khánh thành ngày 24 tháng 8, 2014.[3][8] Trong thời kỳ trước 1975, đoạn kênh chảy qua quận Phú Nhuận dài khoảng 2 km. Qua khỏi Miếu Nổi, con rạch rẽ hai nhánh gọi chung là Rạch Miễu, khoanh thành khu Cù Lao gần như hình vuông, rộng khoảng 7ha. Tại khu vực đường Phan Xích Long giao với đường Hoa Sứ ngày nay, chính quyền Mỹ cho lắp đặt cống hộp thoát nước kéo dài từ sân bay Tân Sơn Nhất đổ xuống kênh. Cống rộng hai người chui vào lọt, quanh năm nước chảy đen kịt, bốc mùi hôi thối.[9]

Từ giữa thập niên 60, rạch Thị Nghè, cùng với rạch Bến Nghé - Tàu Hủ, bắt đầu bị hàng vạn nhà dân lấn chiếm.[10] Sau 1975, việc cải tạo môi trường nước kênh Nhiêu Lộc - Thị Nghè bị lãng quên trong gần 10 năm, và dòng kênh trở nên ô nhiễm nặng.[11]